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(57) Abstract 

The invention relates to two methods and a device for determining a displacement (15) 
of images in an image sequence, especially for compensating for camera movement. A number 
of image areas (6, 7, 8) in the images are available for determining this displacement (15). The 
area displacement of any given image area (6, 7, 8) of the number of image areas (6, 7, 8) 
is determined using the image data of preferably sequential images (14, 12) within any given 
image area (6, 7, 8). A block matching method or a method which employs block displacement 
information from a block-based coding method is used to determine the area displacement and 
to determine a reliability factor for the determination of said area displacement. 

(57) Zusammenfassung 

Es werden zwei Verfahren zur Bestimmung einer Verschiebung (15) von Bildern einer 
Bildsequenz und einer Vorrichtung zur Bestimmung einer Verschiebung (15) von Bildem einer 
Bildsequenz vorgeschlagen, die insbesondere zur Kompensation einer Kamerabewegung dienen. 
Zur Bestimmung der Verschiebung (15) stehen eine Mehrzahl von Bildbereichen (6, 7, 8) 
von Bildern zur VerfOgung, wobei die Bereichsverschiebung eines beliebigen Bildbereichs 
(6, 7, 8) aus der Mehrzahl von Bildbereichen (6, 7, 8) aus den Bilddaten von vorzugsweise 
aufeinanderfolgenden Bildern (14, 12) innerhalb eines beliebigen Bildbereichs (6, 7, 8) 
bestimmt wird, wobei zur Bestimmung der Bereichsverschiebung und zur Bestimmung einer 
Sicherheit for die Bestimmung der Bereichsverschiebung ein Block-Matching- Verfahren oder 
ein Verfahren unter Verwendung von Blockverschiebungsinformationen aus einem blockbasierten 
Codierverfahren herangezogen werden. 
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Verfahren und Vorrirht ung z ur B esHm^nng einer Vpr^hiPh.^ 
von Bildern einer Bildsequenz 



Stand der Technik 



Die Erfindung geht aus von einem Verfahren zur Bestimmung 
der Verschiebung von Bildern einer Bildsequenz nach der 
Gattung des Hauptanspruchs und nach der Gattung des 
nebengeordneten Anspruchs 4 und von einer Vorrichtung zur 
Bestimmung der Verschiebung von Bildern einer Bildsequenz 
nach der Gattung des nebengeordneten Anspruchs 12. 
Aus dem Artikel H. Rindtorf f : „Bildstabilisation in 
Consumer -Camcordern, Funktion und Wirkungsweise" , Fernseh- 
und Kinotechnik, 49. Jahrgang, Nr.l / 2 1995 ist ein 
Bildstabilisierungssystem bekannt, das ein Bild bei 
Aufnahtnen aus der Hand weitgehend ruhigstellen soil. Das 
Bild wird dabei in vier Sektoren aufgeteilt, in denen 
Bewegungsvektoren, die die Verschiebung des Bildes 
beschreiben, bestimmt werden. Aus den Bewegungsvektoren der 
einzelnen Sektoren wird ein gesamter Bewegungsvektor 
bestimmt, der die Auslenkung der Kamera idealerweise 
reprasentiert . 

Der gesamte Bewegungsvektor wird mit einem Dampfungsf aktor 
integriert, was bedeutet, daS vergangene Werte der Vektoren 
beriicksichtigt werden und die Grofie der Korrektur reduziert 
wird, wenn die horizontale und vertikale Verschiebung einen 
Grenzwert uberschreitet . 



Vorteile der Erfindung 
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Das erfindungsgemaSe Verfahren mit den Merkmalen des 
Hauptanspruchs hat demgegentiber den Vorteil, daS die 
Bestimmung der Sicherheit der Bereichsverschiebung der zwei 
Bildbereiche nicht unabhangig voneinander durchgefiihrt wird, 
sondern die ermittelte Bereichsverschiebung des einen der 
zwei Bildbereiche bestimmt den Wert, den die 
Schwellwertfunktion annimmt und mit dem die 
Bereichsverschiebung des anderen der beiden ersten 
Bildbereiche verglichen wird. Die Bestimmung der 
Bereichsverschiebung eines Bildbereichs und die Bestimmung 
ihrer Sicherheit werden somit nicht unabhangig von 
Bewegungen, insbesondere Bereichsverschiebungen, in anderen 
Teilen eines Bildes durchgef uhrt . 

Durch die in den Unteranspriichen aufgeftihrten MaSnahmen sind 
vorteilhafte Weiterbildungen und Verbesserungen des im 
Hauptanspruch angegebenen Verfahrens moglich. 

Besonders vorteilhaft ist, da£ die Bestimmung des 
Korrelationsquotienten jeweils ftir einen der Mehrzahl von 
Bildbereichen nach einem Verfahren mit folgenden Schritten 
bestimmt wird: 

- mittels eines Block-Matching-Verf ahrens werden fur 
mehrere mogliche Bereichsverschiebungen 
Verschiebungskorrelationswerte bestimmt , 

- die Bereichsverschiebung, fur die die 
Verschiebungskorrelationswerte maximal werden, wird als 
Bereichsverschiebung des Bildbereichs angesehen, 

- der Korrelationsquotient wird aus dem Maximum der 
Verschiebungskorrelationswerte, dividiert durch den 
Mittelwert der bestimmten Verschiebungskorrelationswerte, 
gebildet . 

Dadurch wird die Bereichsverschiebung zum einen durch den 
gesamten Bildbereich bestimmt, da die 
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Verschiebungskorrelationswerte aus einer Summenbildung iiber 
samtliche Bildpunkte oder eine Auswahl von Bildpunkten 
innerhalb des betrachteten Bildbereichs bestimmt werden. Zum 
anderen wird der Korrelationsquotient normiert, da das 
Maximum der Verschiebungskorrelationswerte, aus dem sich die 
Bereichsverschiebung ergibt, durch den Mittelwert der 
berechneten Verschiebungskorrelationswerte dividiert wird.. 

Weiterhin ist es von Vorteil, daS fur jeden beliebigen Wert 
einer Bereichsverschiebung, der kleiner als ein vorgegebener 
erster Schwellwert ist, von der Schwellwertfunktion der Wert 
eines vorgegebenen zweiten Schwellwertes angenommen wird und 
da£ fiir jeden beliebigen Wert einer Bereichsverschiebung, 
der groBer als der vorgegebene erste Schwellwert ist, von 
der Schwellwertfunktion der Wert des vorgegebenen zweiten 
Schwellwertes abziiglich eines Produkts angenommen wird, 
wobei das Produkt als Faktoren einen vorgegebenen 
Steigungsparameter und eine Dif f erenz umfaEt und wobei die 
Differenz aus der beliebigen Bereichsverschiebung und dem 
vorgegebenen ersten Schwellwert gebildet wird. Dies hat den 
Vorteil, daS fur groSere ermittelte Bereichsverschiebungen 
eines Bildbereiches der Bestimmung der Bereichsverschiebung 
eine ausreichende Sicherheit zugebilligt wird, auch wenn der 
Korrelationsquotient kleiner ist, was bei einer geringen 
ermittelten Bereichsverschiebung auf eine weniger gute 
{Correlation hinweisen wiirde . Durch die Abhangigkeit der 
beiden ersten Bildbereiche bei der Bestimmung der Sicherheit 
fiir die Bestimmung der Bereichsverschiebung hat die 
Konstruktion der Schwellwertfunktion zur Folge, daS bei 
einer relativen grofien Bereichsverschiebung des einen der 
beiden ersten Bildbereiche die Anforderungen an die 
Sicherheit der Bestimmung der Bereichsverschiebung, das 
heifit die Anforderungen an die Hohe des 
Korrelationsquotienten, weniger hoch sind. 
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Das erfindungsgemaSe Verfahren mit den Merkmalen des 
nebengeordneten Anspruchs 4 hat gegenuber dem Stand der 
Technik den Vorteil, daS eine besonders einfacne und 
kostengiinstige Durchfiihrung des erf indungsgemaSen Verfahrens 
realisierbar ist, insbesondere dann, wenn z. B. durch eine 
Hardwareunterstiitzung Blockverschiebungsinf ormationen, 
insbesondere Blockverschiebungsvektoren von kleinen 
Bildblocken, ohne oder nur mit geringem Zusatzaufwand, 
insbesondere aus einem blockbasierten Ubertragungsverf ahren 
zur Bandbreitenreduktion, zu erhalten sind. 

Durch die in den Unteranspriichen aufgefuhrten MaSnahmen sind 
vorteilhafte Weiterbildungen und Verbesserungen des im 
nebengeordneten Anspruch 4 angegebenen Verfahrens moglich. 

Besonders vorteilhaft ist es, dag fur jeden der Bildbereiche 
zur Bestimmung der Bereichsverschiebung, die eine 
horizontal und vertikale Komponente umfafit', und zur' 
Bestimmung der Sicherheit der Bestimmung der 
Bereichsverschiebung ein Verfahren mit folgenden Schritten 
durchgefuhrt wird: 

- es wird zur Bestimmung der horizontalen Komponente der 
Bereichsverschiebung eine erste Hauf igkeitsverteilung der 
Haufigkeiten verschiedener Werte der horizontalen 
Komponente der Blockverschiebungs-Inf ormation erstellt, 
wobei die horizontale Komponente der Bereichsverschiebung 
dem Wert, fur den die erste Hauf igkeitsverteilung ihr 
Hauptmaximum annimmt, der horizontalen Komponente der 
Blockverschiebungsinf ormationen entspricht , 

- es wird zur Bestimmung der vertikalen Komponente der 
Bereichsverschiebung eine zweite Hauf igkeitsverteilung 
der Haufigkeiten verschiedener Werte der vertikalen 
Komponente der Blockverschiebungs-Inf ormationen erstellt, 
wobei die vertikale Komponente der Bereichsverschiebung 
dem Wert, fur den die zweite Hauf igkeitsverteilung ihr 
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Hauptmaximum annimmt, der vertikalen Komponente der 
Blockverschiebungs- Informationen entspricht, 
- die Sicherheit der Bestimmung der Bereichsverschiebung 
wird als hinreichend betrachtet, wenn samtliche der 
folgenden Bedingungen erfiillt sind, 

- der Absolutbetrag, der Differenz der Position der 
Werte die dem Hauptmaximum und dem Nebenmaximum der 
ersten Hauf igkeitsverteilung entsprechen, der 
horizontalen Komponente der 

Blockverschiebungsinf ormationen ist kleiner als eine 
vorgegebene erste Dif f erenzschwelle , 

- der Absolutbetrag der Differenz der Position der Werte 
die dem Hauptmaximum und dem Nebenmaximum der zweiten 
Haufigkeitsverteilung entsprechen, der vertikalen 
Komponente der Blockverschiebungsinf ormationen ist 
kleiner als eine vorgegebene zweite Dif f erenzschwelle . 

- das Hauptmaximum der ersten Haufigkeitsverteilung ist 
groEer als eine erste Hauf igkeitsschwelle, 

- das Hauptmaximum der zweiten Haufigkeitsverteilung ist 
grofier als eine zweite Hauf igkeitsschwelle . 

Dadurch ist es moglich, mit einfachen Mitteln, insbesondere 
durch die Betrachtung der Haufigkeiten der auftretenden 
horizontalen und vertikalen Komponenten der schon 
vorhandenen Blockverschi ebungs- 1 nf ormationen, zum einen eine 
Bestimmung der Bereichsverschiebung fur einen Bildbereich 
und zum anderen eine Bestimmung der Sicherheit der 
Bestimmung der Bereichsverschiebung zu erhalten. 

Gemafi den Unteranspruchen sowohl des Hauptanspruchs als auch 
des nebengeordneten Anspruchs 4 ist es weiterhin von 
Vorteil, daS eine Trennung einer Bildbewegung, vorzugsweise 
hervorgerufen durch eine Kamerabewegung , von einer 
Zusatzbewegung, die sich der Bildbewegung in einigen 
Bildbereichen des zu korrigierenden Bildes iiberlagert, durch 
folgende Schritte durchgefuhrt wird: 
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- an unterschiedlichen Positionen eines Bildes wird die 
Wahrscheinlichkeit, daS die Bildbewegung ohne die 
Zusatzbewegung auftritt, bestimmt, 

- fur jeweils einen Bildbereich werden die Position und die 
Abmessungen in AbMngigkeit der Wahrscheinlichkeit, dag 
innerhalb des einen Bildbereichs die Bildbewegung ohne 
die Zusatzbewegung auftritt, bestimmt und fest 
vorgegeben , 

- es wird wenigstens ein erster Bildbereich bevorzugt zur 
Best immung der Verschiebung herangezogen . 

Dadurch konnen Bildbereiche besonders in den Anteilen eines 
Bildes zur Bestimmung der Verschiebung der Bilder 
herangezogen werden, die durch eine moglichst groSe 
Wahrscheinlichkeit, da£ die Bildbewegung ohne die 
Zusatzbewegung auftritt, ausgezeichnet sind. Hierdurch kann 
die Bestimmung der Verschiebung von Bildern einer 
Bildsequenz besonders zuverlassig durchgefiihrt werden. 
Weiterhin ist es fur die sichere Bestimmung der Verschiebung 
von Bildern einer Bildsequenz zutraglich, daS die Position 
und die Abmessungen der Bildbereiche fest vorgegeben werden. 
Dadurch kann insbesondere fur ein spezielles Szenario der 
Bewegbild-Kommunikation mit relativ geringem 
Verarbeitungsaufwand eine zuverlassige Bestimmung der 
Verschiebung vorgenommen werden. Ein erster Bildbereich, der 
bevorzugt zur Bestimmung der Verschiebung herangezogen wird, 
kann durch die Wahl seiner Position und seiner Abmessungen 
innerhalb der Bilder beispielsweise allein zur Bestimmung 
der Verschiebung herangezogen werden, so daS andere 
Bildbereiche' in einem solchen Fall nicht beriicksichtigt 
werden mussen, was den Verarbeitungsaufwand zur Bestimmung 
der Verschiebung von Bildern verringert . 

Weiterhin ist von Vorteil, dafi die Position und die 
Abmessungen des wenigstens einen ersten Bildbereichs so 
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gewahlt werden, da£ der wenigstens eine erste Bildbereich 
der zu korrigierenden Bilder iiberwiegend vom Bildhintergrund 
ausgefullt wird. Da der Bildhintergrund in der Regel von 
einem Bild zu einem anderen Bild, zwischen denen die 
Verschiebung festgestellt werden soil, kaum Zusatzbewegungen 
aufweist, die der Bildbewegung, die insbesondere durch die 
unabsichtliche Bewegung einer Kamera hervorgeruf en wird, 
iiberlagert wird, kann ein erster Bildbereich, der zu 
korrigierenden Bilder vorteilhaft zur Bestimmung der 
Verschiebung herangezogen werden, wenn er vom 
Bildhintergrund ausgefullt wird. 

Weiterhin ist es von Vorteil, daS die Position und die 
Abmessungen wenigstens eines zweiten Bildbereichs so gewahlt 
werden, daS der wenigstens eine zweite Bildbereich der zu 
korrigierenden Bilder iiberwiegend vom Bildvordergrund 
ausgefullt wird. Dadurch wird die Bestimmung einer 
Verschiebung von Bildern einer Bildsequenz besonders dann 
einfach und mit hoher Genauigkeit moglich, wenn 
beispielsweise der Bildhintergrund einer starken 
Zusatzbewegung ausgesetzt ist, die der Bildbewegung, die die 
beispielsweise durch die unbeabsichtigte Kamerabewegung 
hervorgeruf en wird, iiberlagert ist. 

Weiterhin ist es von Vorteil, daS zur Bestimmung der 
Verschiebung sowohl der wenigstens eine erste als auch der 
wenigstens eine zweite Bildbereich zur Verfiigung steht. 
Dadurch kann die Bestimmung der Bereichsverschiebung 
iiberpruft werden, weil ein MaS fur die Sicherheit der 
Bestimmung der Bereichsverschiebung innerhalb des Verfahrens 
zuganglich ist. Die Bestimmung einer Sicherheit fur die 
Sicherheit der Bereichsverschiebung dient somit vor allem 
einer einfachen und zuverlassigen Trennung der Bildbewegung 
von der ihr iiberlagerten Zusatzbewegung. 
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Weiterhin ist es von Vorteil, da£ zwei erste Bildbereiche 
und ein einzelner zweiter Bildbereich zur Bildkorrektur zur 
Verfugun 9 stehen, wobei die Bestimmung der Verschiebung auf 
eine der folgenden drei Arten mit absteigender Prioritat 
durchgefiihrt wird: 

- aus dem Mittelwert der Bereichsverschiebungen der zwei 
ersten Bildbereiche, wenn die Sicherheit der Bestimmung 
der Bereichsverschiebungen der beiden ersten Bilderreihe 
als hinreichend betrachtet wird, 

- aus der Bereichsverschiebung desjenigen der zwei ersten 
Bildbereiche, bei dem die Sicherheit der Bestimmung der 
Bereichsverschiebung als hinreichend betrachtet wird, 

- aus der Bereichsverschiebung des zweiten Bildbereich.es . 

Dadurch ist es moglich, verschiedene Bildbereiche mit 
unterschiedlicher Prioritat fur die Bestimmung der 
Verschiebung von Bildern einer Bildsequenz heranzuziehen . 
Insbesondere ist es moglich, Bildbereiche, die iiberwiegend 
vom Bildhintergrund ausgefullt sind, bevorzugt fur die 
Bestimmung der Verschiebung von Bildern heranzuziehen, wobei 
die Verwendung des Mittelwertes der Bereichsverschiebungen 
der zwei ersten Bildbereiche zu einer zuverlassigen 
Bestimmung der Verschiebung fuhren. Die zweite Prioritat fur 
die Bestimmung der Verschiebung unter Heranziehung der 
Bereichsverschiebung aus den beiden ersten Bildbereichen 
wird insbesondere gewahlt, urn den Einflufi durch bewegte 
Objekte im Hintergrund zu minimieren, da ein bewegtes Objekt 
im einen der beiden ersten Bildbereiche dazu fiihrt, daS die 
Bereichsverschiebung des anderen der beiden Bildbereiche zur 
Bestimmung der Verschiebung von Bildern einer Bildsequenz 
herangezogen wird. Auf der dritten Stufe der Prioritat wird 
die Verschiebung von Bildern aus der Bereichsverschiebung 
des zweiten Bildbereiches , insbesondere eines Bildbereiches , 
der iiberwiegend vom Bildvordergrund ausgefullt wird, 
herangezogen. 
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Weiterhin ist es von Vorteil, daS das Verfahren fur eine 
Kopf-Schulter-Aufnahmesituation eingesetzt wird, wobei die 
beiden ersten Bildbereiche in einem seitlichen Bildbereich 
links und rechts, vorzugsweise symmetrische zur senkrechten 
Mittelachse eines vorgegebenen rechteckigen Bildes, gewahlt 
werden, wobei der Abstand der beiden ersten Bildbereiche vom 
unteren Bildrand grower als der Abstand der beiden ersten 
Bildbereiche vom oberen Bildrand gewahlt werden, wobei der 
zweite Bildbereich im Bereich der Bildmitte, vorzugsweise 
symmetrisch zur senkrechten Mittelachse des rechteckigen 
Bildes, gewahlt wird, wobei vorzugsweise der Abstand des 
zweiten Bildbereich.es vom oberen Bildrand groSer als der 
Abstand des zweiten Bildbereiches vom unteren Bildrand 
gewahlt wird. Durch eine derartige Wahl der Bildbereiche ist 
es, insbesondere fur eine Kopf -Schulter-Auf nahme situation, 
moglich, die Informationen aus den Bildbereichen sinnvoll 
fur die Bestimmung der Bereichsverschiebungen und sinnvoll 
mittels einer Priorisierung der Heranziehung von 
Bereichsverschiebungen fur die Bestimmung der Verschiebung 
von Bildern einer Bildsequenz zu verwenden. 

Die erfindungsgemaSe Vorr.ichtung zur Bestimmung einer 
Verschiebung von Bildern einer Bildsequenz mit den Merkmalen 
des nebengeordneten Anspruchs 12 hat hat gegenviber dem Stand 
der Technik den Vorteil, da£ die Vorrichtung eine 
Verschiebungsdetektionsschaltung (100) und eine 
VergroSerungsschaltung (200) umfaSt, wobei die 
Verschiebungsdetektionsschaltung (100) einen 
Bereichsverschiebungsdetektor (110), einen Bildspeicher 
(120) und einen Mikrocomputer (130) umfaSt und wobei die 
Verschiebungsdetektionsschaltung (100) die Verschiebung (15) 
bestimmt. Dadurch kann die Verschiebung, insbesondere durch 
die Implement ierung der Verf ahrensschritte des 
erfindungsgemafcen Verfahrens gemaS dem Hauptanspruch bzw. 
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gemaS dem nebengeordneten Anspruch 4 in einer integrierten 
Schaltung oder auf einer Leiterplatte, zu einer schnelleren 
und kostengiinstigeren Ausfiihrung der erf indungsgemaSen 
Verfahren fuhren. 

Zeichnung 



Ein Ausfuhrungsbeispiel der Erfindung ist in der Zeichnung 
dargestellt und in der nachf olgenden Beschreibung naher 
erlautert . 



Es zeigen: 



Figur 1 ein Blockschaltbild der erf indungsgemaSen 
Vorrichtung, 

Figur 2 das Prinzip der Bildstabilisierung durch die 
Bestimmung einer Verschiebung von Bildern einer Bildsequenz, 

Figur 3 ein Ablauf diagramm zur Bildstabilisierung und 

Figur 4 ein Beispiel fur die Wahl von Bildbereichen 
innerhalb eines Bildes fur die Durchfiihrung des 
erf indungsgemaSen Verfahrens. 



Beschreibung des Ausfuhrungsbeispiel s : 

Figur 1 zeigt ein Blockschaltbild der erf indungsgemaSen 
Vorrichtung zur Bestimmung einer Verschiebung von Bildern 
einer Bildsequenz. Die erf indungsgemafie Vorrichtung umfaSt 
einen Eingang 10, einen Ausgang 20 eine 
Verschiebungsdetektionsschaltung 100 und eine 
VergroBerungsschaltung 200. Die 

Verschiebungsdetektionsschaltung 100 umfaEt einen 
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Bereichsverschiebungsdetektor 110, einen Bildspeicher 120 
und einen Mikrocomputer 130. Weiterhin umfaSt die 
Verschiebungsdetektionsschaltung 100 einen nicht 
bezeichneten Eingang der mit dem Eingang 10 der 
erf indungsgemaSen Vorrichtung, mit dem 

Bereichsverschiebungsdetektor 110 und mit dem Bildspeicher 
120 verbunden ist. Weiterhin umfaSt die 
Verschiebungsdetektionsschaltung 100 einen nicht 
bezeichneten Ausgang, der mit dem Mikrocomputer 130 
verbunden ist, wobei der Bereichsverschiebungsdetektor 110 
ebenfalls mit dem Mikrocomputer 130 verbunden ist. Die 
VergroSerungsschaltung 200 umfaSt zwei nicht bezeichnete 
Eingange und einen Ausgang, der mit dem Ausgang 20 der 
Vorrichtung verbunden ist. Die beiden Eingange der 
VergroEerungsschaltung 200 sind jeweils mit einem 
VergroSerungsprozessor 210 verbunden, wobei einer der beiden 
Eingange der VergroSerungsschaltung 200 mit dem Eingang 10 
der Vorrichtung verbunden ist und wobei der andere der 
beiden Eingange der VergroSerungsschaltung 200 mit dem 
Ausgang der Verschiebungsdetektionsschaltung 100 verbunden 



ist 



In Figur 2 ist ein Beispiel zur Bildstabilisierung, 
beispielsweise zur Kompensation von Kamerabewegungen 
dargestellt. Ein erstes Eingangsbild 13 wird dabei zu einem 
ersten Ausgangsbild 23 korrigiert, wobei auf 
Bildinformationen eines zweiten, vorzugsweise zeitlich 
davorliegenden, Eingangsbildes 11 zurtickgegrif f en wird. 

Das zweite Eingangsbild 11 umfaSt einen Bildausschnitt , der 
durch VergroEerung zum zweiten Ausgangsbild 21 vergroSert 
wird. Das zweite Eingangsbild 11 wird dabei von der Kamera 
vollstandig aufgenommen, jedoch sieht beispielsweise ein 
Benutzer der erf indungsgemafcen Vorrichtung lediglich den 
Bildausschnitt in vergroSerter Form als zweites Ausgangsbild 
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21. Der Bildausschnitt ■ wird dabei als zweites Bild 12 oder 
auch als korrigiertes zweites Bild 12 bezeichnet . 

GemaJS einer ersten Ausfiihrungsf orm des erf indungsgemafien 
Verfahrens dient das korrigierte zweite Bild 12 der 
Korrektur des ersten Eingangsbildes 13. Das erste 
Eingangsbild 13 umfafct ebenfalls einen Bildausschnitt, der 
hier als unkorrigiertes erstes Bild 14 bezeichnet wird. 
Durch Vergleich des unkorrigierten ersten Bildes 14 mit dem 
zweiten Bild 12 bzw. dem korrigierten zweiten Bild 12 kann 
eine Verschiebung 15 bestimmt werden, so dafi durch die 
Verschiebung 15 das unkorrigierte erste Bild 14 in ein 
korrigiertes erstes Bild 16 uberfiihrt werden kann. Bei dem 
Vergleich des unkorrigierten ersten Bildes 14 mit dem 
zweiten Bild 12 werden insbesondere nicht die gesamten 
Bilddaten herangezogen, sondern lediglich die Bilddaten aus 
(nicht dargestellten) Bildbereichen des ersten Bildes 14 und 
des zweiten Bildes 12. 

GemaE einer zweiten Ausfiihrungsf orm des erf indungsgemaSen 
Verfahrens dient das zweite Eingangsbild 11 der Korrektur 
des ersten Eingangsbildes 13 . Durch Vergleich des ersten 
Eingangsbildes 13 mit dem zweiten Eingangsbild 11 kann die 
Verschiebung 15 bestimmt werden, so daS durch die 
Verschiebung 15 das unkorrigierte erste Bild 14 in das 
korrigierte erstes Bild 16 uberfiihrt werden kann. Bei dem 
Vergleich des unkorrigierten ersten Eingangsbildes 13 mit 
dem zweiten Eingangsbild 11 werden insbesondere nicht die 
gesamten Bilddaten herangezogen, sondern lediglich die 
Bilddaten aus (nicht dargestellten) Bildbereichen des ersten 
Eingangsbildes 13 und des zweiten Eingangsbildes 11. 



Das korrigierte erste Bild 16 kann nunmehr sowohl gemaS der 
ersten Ausfiihrungsf orm als auch gemaS der zweiten 
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Ausfiihrungsform des erf indungsgemaEen Verfahrens dem 
Benutzer als erstes Ausgangsbild 23 zur Ansicht gebracht 
werden. Gegeniiber dem zweiten Ausgangsbild ist die 
Verschiebung des ersten Eingangsbildes 13 bzw. des 
korrigierten ersten Bildes 16 nicht mehr im ersten 
Ausgangsbild 23 zu bemerken. 

In Figur 3 sind die wesentlichen Verf ahrensschritte des 
erfindungsgemafien Verfahrens anhand eines Ablauf diagramms am 
Beispiel der Korrektur des ersten Eingangsbildes 13 
dargestellt. In einem ersten Ablauf schritt 30 wird die 
Bestimmung der Bereichsverschiebungen von Bildbereichen 
durchgef iihrt . Hierbei wird das erste Eingangsbild 13 mit dem 
korrigierten zweiten, insbesondere zeitlich davorliegenden, 
15 Bild 12 oder dem zweiten, insbesondere zeitlich 

davorliegenden, Eingangsbild 11 verglichen. AnschlieSend 
wird in einem Ablauf schritt 40 die Verschiebung des ersten 
Bildes 14 gemaS dem erf indungsgemaSen Verfahren bestimmt . In 
. einem dritten Ablauf schritt 50 wird die Verschiebung des 
unkorrigierten ersten Bildes 14 urn den Verschiebungsvektor 
15 durchgef iihrt . Das Resultat dieser Operation ist das 
korrigierte erste Bild 16. AnschlieSend wird in einem 
vierten Ablauf schritt 60 eine VergroSerung des korrigierten 
ersten Bildes 16 durchgef iihrt, die zu dem ersten 
25 Ausgangsbild 23 f iihrt . 



20 



30 



Zur Korrektur eines weiteren Eingangsbildes gemafc dem 
erfindungsgemaSen Verfahren kann das Resultat des dritten 
Ablaufschrittes 50 dem ersten Ablauf schritt 30 dadurch 
zuganglich gemacht werden, indem es , vorzugsweise in dem 
Bildspeicher 120, abgespeichert wird. Das Resultat des 
dritten Ablaufschrittes 50 ist das korrigierte erste Bild 16 
das somit an die Stelle des korrigierten zweiten Bildes 12 
tritt und im Zusammenhang mit der Korrektur des weiteren 
35 Eingangsbildes zu einer Bestimmung von 
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Bereichsverschiebungen im ersten Ablauf schritt 30 
herangezogen wird. 

Alternativ dazu kann in dem Bildspeicher 12 0 auch das erste 
Eingangsbild 13 beziehungsweise das unkorrigierte erste Bild 
14 zusammen mit der bestimmten Verschiebung 15 zur Korrektur 
eines weiteren Eingangbildes gespeichert werden. 

In Figur 4 ist ein Beispiel einer Verteilung von 
Bildausschnitten 6,7,8 innerhalb des ersten Eingangsbildes 
14 dargestellt. Dabei sind zwei erste Bildbereiche 6,7, 
insbesondere fur die Anwendung des erf indungsgemaEen 
Verfahrens auf eine Kopf -Schulter-Auf nahmesituation, 
symmetrisch zur senkrechten Mittelachse des vorgegebenen 
15 rechteckigen ersten Bildes 14 gewahlt. Der Abstand der 

beiden ersten Bildbereiche 6,7 vom unteren Bildrand ist 
dabei grofcer als der Abstand der beiden ersten Bildbereiche 
6,7 vom oberen Bildrand. 

Ein zweiter Bildbereich 8 ist im Bereich der Bildmitte des 
20 ersten Bildes 14, vorzugsweise symmetrisch zur senkrechten 

Mittelachse des rechteckigen Bildes, gewahlt, wobei 
vorzugsweise der Abstand des zweiten Bildbereichs 8 vom 
oberen Bildrand grdfcer als der Abstand des zweiten 
Bildbereiches vom unteren Bildrand gewahlt ist. 

25 

Die erf indungsgemaEen Verfahren zur Bestimmung einer 
Verschiebung 15 von Bildern einer Bildsequenz konnen 
vorzugsweise zur Bildstabilisierung zur Kompensation der 
Kamerabewegungen im Hinblick auf die digitale 
30 Bewegtbildstabilisierung fur mobile Bewegtbild- 

Kommunikationseinrichtungen eingesetzt werden. Es sollen 
Bewegungen, die durch die mobile Nutzung einer Bewegtbild- 
Kommunikationseinrichtung verursacht werden, reduziert bzw. 
moglichst eliminiert werden. 
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' Das Grundprinzip der Verfahren besteht darin, die 
Kamerabewegung aus der relativen Verschiebung 
aufeinanderfolgender Bilder abzuleiten und aus einem 
Eingangsbild, beispielsweise dem ersten Eingangsbild. 13, den 
Teilbereich, beispielsweise das korrigierte erste Bild 16, 
zu extrahieren, der aufgrund der ermittelten Verschiebung 
15,. insbesondere des korrigierten ersten Bildes 16 gegenuber 
dem unkorrigierten ersten Bild 14, die Kamerabewegung 
kompensiert. 

Bei den erf indungsgemaSen Verfahren wird beispielsweise eine 
Mehrzahl von Bildbereichen 6,7,8 zur Bestimmung der 
Verschiebung 15 zur Verfiigung gestellt. Die Bildbereiche 
konnen durch ihre Position und ihre Abmessungen innerhalb 
des Bildes eindeutig bestimmt werden. Durch die vorteilhafte 
Wahl der Position sowie der Abmessungen der Bildbereiche 
6,7,8 kann nun in besonders einfacher Weise eine Trennung 
einer Bildbewegung , die vorzugsweise von einer 
Kamerabewegung hervorgeruf en wird, von einer Zusatzbewegung, 
die sich der Bildbewegung in Teilbereichen des zu 
korrigierenden Bildes uberlagert, durchgefiihrt werden. Dazu 
wird die Wahrscheinlichkeit, da£ die Bildbewegung ohne die 
Zusatzbewegung auftritt an unterschiedlichen Positionen der 
Bilder einer Bildsequenz bestimmt, woraus sich innerhalb des 
Bildes bevorzugte Anteile ergeben, mittels derer eine 
Trennung der Bildbewegung von der Zusatzbewegung erreicht 
werden kann. So ist beispielsweise fur die spezielle 
Aufnahmesituation eines Sprechers, der sich zentriert in der 
Bildmitte befindet, die Wahl der in der Figur 4 
dargestellten Bildbereiche 6,7,8 besonders vorteilhaft. Die 
besonderen Eigenschaf ten der Aufnahmesituation werden als A- 
Priori-Kenntnisse bei der Auswahl und der Festlegung der 
Bildbereiche 6,7,8 verwertet. GemaS dieser Aufnahmesituation 
kann angenommen werden, dag die beiden ersten Bildbereiche 
6,7 im wesentlichen im Hintergrund des Bildes und der zweite 
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Bildbereich 8 im wesentlichen im Vordergrund befinden. Dies 
bedeutet, da£ die beiden ersten Bildbereiche 6,7 
hauptsachlich mit Bilddaten aus dem Bildhintergrund 
ausgefiillt sind und das der zweite Bildbereich 8 
hauptsachlich mit Bilddaten aus dem Bildvordergrund 
ausgefiillt ist . Hieraus lafct sich eine Priorisierung der 
beiden ersten Bildbereiche 6,7 vorteilhaft anwenden, so daS 
die Bestimmung einer Verschiebung 15 von Bildern einer 
Bildsequenz sich bevorzugt aus der Bestimmung der 
Bereichsverschiebung der beiden ersten Bildbereiche 6,7 
ergibt. Nur wenn die Verwendung von Bereichsverschiebungen 
aus den beiden ersten Bildbereichen 6,7, lediglich eine 
Bereichsverschiebung zulaSt, die mit einer groEen 
Unsicherheit bzw. mit einer ungenugend groSen Sicherheit 
behaftet ist, wird der zweite Bildbereich 8 zur Bestimmung 
der Verschiebung 15 von Bildern herangezogen . Diese 
Priorisierung ist im angegebenen Beispiel gleichbedeutend 
damit, da£ die Bildstabilisierung bevorzugt mittels 
Bildhintergrundinformation durchgefiihrt wird. Hierbei 
beziehen sich die Verfahren jedoch nicht ausschlieSlich auf 
die Unterscheidung und unterschiedliche Priorisierung zur 
Bestimmung einer Verschiebung von Bildern einer Bildsequenz 
von Hintergrund- oder Vordergrundinf ormationen, sondern auch 
beispielsweise auf die Heranziehung von Kriterien wie 
Kantendetektion, Abwesenheit von Kantendetektion oder 
ahnlichem. 

Die beiden ersten Bildbereiche 6,7, haben im angegebenen 
Beispiel im Qcif-Format typischerweise eine Ausdehnung von 
120 Bildpunkten in vertikaler Richtung und 40 Bildpunkten in 
horizontaler Richtung. Der zweite Bildbereich 8 erstreckt 
sich bei diesem Bildformat typischerweise uber 135 
Bildpunkte in vertikaler und 85 Bildpunkte in horizontaler 
Richtung. 



35 
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Die erf indungsgemaEen Verfahren zur Bestimmung einer 
Verschiebung 15 von Bildern einer Bildseguenz dienen dazu, 
den EinfluE durch bewegte Objekte, insbesondere im 
Hintergrund des Bildes, zu minimieren, indetn mit Hilfe eines 
Entscheidungskriteriums bewegte Objekte in Bildbereichen 
detektiert werden. Durch die bewegten Objekte beispielsweise 
in einem der Bildbereiche 6, 7, 8 entsteht eine 
Zusatzbewegung, die sich der Verschiebung, die von der 
Kamerabewegung hervorgeruf en wird, iiberlagert . 



Zur Bestimmung der Bereichsverschiebung fur einen 
Bildbereich 6,7,8 werden erf indungsgemaE alternativ zwei 
Verfahren angewandt , je nachdem ob 

Blockverschiebungsinformationen aus einem blockbasierten 
Codierverfahren, beispielsweise aus einem blockbasierten 
Ubertragungsverfahren zur Bandbreitenreduktion, mit 
einfachen Mitteln zuganglich sind oder nicht. 
Wenn Blockverschiebungsinf ormationen nicht einfach 
zuganglich sind, wird vorzugsweise eine Blockmatching- 
Methode gemaE dem Hauptanspruch zur Bestimmung der 
Bereichsverschiebung angewendet, mit der eine 
Zusatzbewegung, das heiSt eine lokale Bewegung innerhalb 
eines der beiden ersten Bildbereiche 6,7, detektiert werden 
kann. Die Detektion einer in einem Bildbereich 6, 7, 8 
auftretenden lokalen Bewegung, z.B. ein. erscheinendes 
Objekt, kann durch Auswertung der 

Verschiebungskorrelationswerte aus dem Blockmatching- 
Verfahren erfolgen. Hierzu wird das Verhaltnis des 
Mittelwertes der Verschiebungskorrelationswerte zum Maximum 
der Korrelationswerte mit einer adaptiven 
Schwellwertfunktion verglichen. Zur Bestimmung des 
Mittelwertes der Verschiebungskorrelationswerte wird die 
Summe iiber alle bestimmten Korrelationswerte gebildet und 
anschlieEend durch deren Anzahl dividiert . Das Maximum der 
35 Verschiebungskorrelationswerte wird fur eine bestimmte 
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Bereichsverschiebung angenommen. Diejenige 
Bereichsverschiebung, die dem Maximum der 
Verschiebungskorrelationswerte entspricht, wird als die 
Bereichsverschiebung des Bildbereichs angenommen. Der 
Korrelationsquotient entspricht dem Maximum der 
Verschiebungskorrelationswerte geteilt durch den Mittelwert 
der Verschiebungskorrelationswerte und ist somit genormt . 
Eine Zusatzbewegung, das heifit eine lokale Bewegung 
innerhalb des Bildbereiches , ist dann detektiert, wenn der 
Korrelationsquotient kleiner ist als der Wert einer 
adaptiven Schwellwertfunktion. Die adaptive 
Schwellwertfunktion ist abhangig von der Lange eines 
Verschiebungsvektors, der eine Bereichsverschiebung angibt . 
ErfindungsgemaS wird fur die Detektion einer Zusatzbewegung 
beziehungsweise einer lokalen Bewegung in einem der beiden 
ersten Bildbereiche 6,7 der Korrelationsquotient fur den 
betrachteten ersten Bereich 6,7 mit dem Wert der adaptiven 
Schwellwertfunktion verglichen, wobei sich der Wert fur die 
adaptive Schwellwertfunktion aus der Vektorlange der 
Verschiebung 15 des anderen der beiden ersten Bildbereiche 
6,7, ergibt. Dabei ist die Schwellwertfunktion 
f olgendermaSen definiert: 

- fur jede beliebige Vektorlange des 
Bereichsverschiebungsvektors beziehungsweise fur jede 
beliebige Bereichsverschiebung, die kleiner ist als ein 
vorgegebener erster Schwellwert, wird von der 
Schwellwertfunktion der Wert eines vorgegebenen zweiten 
Schwellwertes angenommen, 

- fur jede beliebige Vektorlange des 
Bereichsverschiebungsvektors bzw. fur jede beliebige 
Bereichsverschiebung, die grofier ist als der vorgegeben 
erste Schwellwert, wird von der Schwellwertfunktion der 
Wert des vorgegebenen zweiten Schwellwertes abzuglich 
eines Produkts angenommen, wobei das Produkt als Faktoren 
einen vorgegebenen Steigungsparameter und eine Differenz 
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umfaSt, und wobei die Differenz aus der beliebigen 
Bereichsverschiebung und dem vorgegebenen ersten 
Schwellwert gebildet wird. 



Das Verfahren zur Bestimmung der Verschiebung von Bildern 
einer Bildsequenz gemaS dem nebengeordneten Anspruch 4 
beruht insbesondere auf der Verwendung von 
Blockverschiebungsinformationen aus einem blockbasierten 
Codierverfahren. Dabei werden die Verschiebungsvektoren von 
kleinen Blocken, z. B. der GroSe 8*8 oder 16 * 16, zur 
Bestimmung der Bereichsverschiebung der Bildbereiche 6, 7, 8 
genutzt. Somit werden die Inf ormationen aus dem 
blockbasierten Codierverfahren zur Reduktion des 
Rechenaufwands verwendet . Dieser Ansatz ist insbesondere 
dann von Interesse, falls, z. B. durch eine 
Hardwareunterstutzung, die Blockverschiebungsvektoren ohne 
oder mit nur geringem Zusatzaufwand zu erhalten sind. Die 
Detektion einer lokalen Bewegung innerhalb eines 
Bildbereichs 6, 7, 8, insbesondere von einem der beiden 
ersten Bildbereiche 6, 7, kann besonders einfach 
durchgefiihrt werden, wenn Verschiebungsvektoren von kleinen 
Blocken des Bildes bekannt sind. 

Dabei werden zunachst alle Verschiebungsvektoren fur Blocke, 
die innerhalb eines der Bildbereiche 6,7,8 liegen, dem 
entsprechenden Bildbereich 6,7,8 zugeordnet . Von den jeweils 
zugeordneten Verschiebungsvektoren werden fur die 
horizontalen und vertikalen Komponenten separate 
Haufigkeitsverteilungen beziehungsweise Histogramme 
erstellt. Es ergeben sich somit fur jeden Bildbereich 6,7,8 
eine erste Hauf igkeitsverteilung fiir die horizontale 
Komponente und eine zweite Hauf igkeitsverteilung fiir die 
vertikale Komponente der Verschiebungsvektoren der 
Bildblocke. Die Detektion einer Zusatzbewegung bzw. lokalen 
Bewegung erfolgt uber die Analyse der einem Bildbereich 
zugeordneten Haufigkeitsverteilungen. Falls die Differenz 
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der Positionen zwischen dem Hauptmaximum und dem grofiten 
Nebenmaximum einer der beiden zugeordneten 
Haufigkeitsverteilungen einen bestimmten Schwellwert 
uberschreitet und die Grofie der Hauptmaxima einen 
Schwellwert unterschreitet ist eine lokale Bewegung 
detektiert . 

Die Bestimmung einer lokalen oder zusatzlichen Bewegung 
innerhalb eines Bildbereiches bedeutet, da£ die Bestimmung 
der Bereichsverschiebung nicht mit ausreichender Sicherheit 
durchgefuhrt werden konnte. Die Bestimmung der Sicherheit 
der Bestimmung der Bereichsverschiebung fiihrt damit zu einem 
negativen Ergebnis was die Bestimmung der 
Bereichsverschiebung betrifft. 

Das Verfahren gemaS dem nebengeordneten Anspruch 4 zur 
Bestimmung der Bereichsverschiebung und zur Bestimmung der 
Sicherheit Bestimmung der Bereichsverschiebung kann 
folgendermafien beschrieben werden, wobei die 
Bereichsverschiebung eine horizontale und eine vertikale 
Komponente umf aSt : 

- es wird zur Bestimmung der horizontalen Komponente der 
Bereichsverschiebung eine erste Hauf igkeitsverteilung der 
Haufigkeiten verschiedener Werte der horizontalen 
Komponente der Blockverschiebungsinf ormationen erstellt, 
wobei die horizontale Komponente der Bereichsverschiebung 
dem Wert, fur den die erste Hauf igkeitsverteilung ihr 
Hauptmaximum annimmt, der horizontalen Komponente der 
Blockverschiebungs-Inf ormationen entspricht, 

- es wird zur Bestimmung der vertikalen Komponente der 
Bereichsverschiebung eine zweite Hauf igkeitsverteilung 
der Haufigkeiten verschiedener Werte der vertikalen 
Komponente der Blockverschiebungs-Inf ormationen erstellt, 
wobei die vertikale Komponente der Bereichsverschiebung 
dem Wert, fur den die zweite Hauf igkeitverteilung ihr 
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Hauptmaximum annimmt, der vertikalen Komponente der 
Blockverschiebungsinf ormationen entspricht , 
- die Sicherheit der Bestimmung der Bereichsverschiebung 
wird als hinreichend betrachtet, wenn samtliche der 
folgenden Bedingungen erfiillt sind: 

- der Absolutbetrag der Differenz der Position der 
Werte, die dem Hauptmaximum und dem Nebenmaximum der 
ersten Hauf igkeitsverteilung entsprechen, der 
horizontalen Komponente der 

Blockverschiebungsinf ormationen ist kleiner als eine 
vorgegebene erste Dif f erenzschwelle, 

- der Absolutbetrag der Differenz der Position der 
Werte, die dem Hauptmaximum und dem Nebenmaximum der 
zweiten Hauf igkeitsverteilung entsprechen, der 
vertikalen Komponente der Blockverschiebungs- 
inf ormationen ist kleiner als eine vorgegebene zweite 
Dif f erenzschwelle, 

- das Hauptmaximum der ersten Hauf igkeitsverteilung ist 
groSer als eine erste Hauf igkeitsschwelle, 

- das Hauptmaximum der zweiten Hauf igkeitsverteilung ist 
groSer als eine zweite Hauf igkeitsschwelle . 

Das Verfahren gema£ dem nebengeordneten Anspruch 4 kann 
somit zur Bestimmung der Verschiebung von Bildern einer 
Bildsequenz genutzt werden, urn den Rechenauf wand zu 
reduzieren . 

Sowohl fur das Verfahren gema£ dem Haupt anspruch als auch 
fur das Verfahren gemalS dem nebengeordneten Anspruch 4 wurde 
ein Kriterium angegeben, daS sich zur Detektion von lokalen 
Bewegungen innerhalb des relevanten Bildbereichs 6/7, 8 
eignet und welches gleichbedeutend damit ist, da£ die 
Sicherheit der Bestimmung der Bereichsverschiebung nicht 
ausreichend ist. 
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Anspruche 



1. Verfahren zur, Bestimmung einer Verschiebung (15) von 
Bildern einer Bildsequenz, insbesondere fur die Kompensation 
einer Kamer abewegung , wobei zur Bestimmung der Verschiebung 
(15) eine Mehrzahl von Bildbereichen (6, 7, 8) von Bildern 
zur Verfiigung stent, wobei jeder Bildbereich (6,7,8) jeweils 
an einer vorgegebenen Position der Bilder vorgesehen ist, 
wobei jeder Bildbereich (6,7,8) jeweils vorgegebene 
Abmessungen, insbesondere vorgegebene Anzahlen von 
Bildpunkten in verschiedene Richtungen des Bildes, aufweist, 
dadurch gekennzeichnet , daS zur Bildkorrektur eines ersten 
Bildes (14) der Bildsequenz die Verschiebung (15) entweder 
aus Bilddaten des ersten Bildes (14) und aus Bilddaten eines 
zweiten, vorzugsweise dem ersten Bild (14) unmittelbar 
vorangehenden Bildes (12) der Bildsequenz oder aus Bilddaten 
des ersten Bildes (14) und aus Bilddaten eines zweiten, 
vorzugsweise dem ersten Bild (14) unmittelbar vorangehenden 
Eingangsbildes (11) der Bildsequenz bestimmt wird, wobei als 
Verschiebung (15) eine Bereichsverschiebung eines 
Bildbereichs (6,7,8) in Abhangigkeit einer Sicherheit fur 
die Bestimmung der Bereichsverschiebung des einen 
Bildbereichs (6,7,8) herangezogen wird, wobei die 
Bereichsverschiebung eines beliebigen Bildbereichs (6,7,8) 
der Mehrzahl von Bildbereichen (6,7,8) entweder aus den 
Bilddaten des ersten Bildes (14) und des zweiten Bildes (12) 
innerhalb des beliebigen Bildbereichs (6,7,8) oder aus den 
Bilddaten des ersten Bildes (14) und des zweiten 
Eingangsbildes (11) innerhalb des beliebigen Bildbereichs 
(6,7,8) bestimmt wird, wobei zur Bestimmung der 
Bereichsverschiebung von zwei beliebigen Bildbereichen 
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, (6,7,8) und zur Bestimmung einer Sicherheit fiir die 
Bestimmung der Bereichsverschiebungen ein Verfahren mit 
folgenden Schritten durchgef iihrt wird: 

- es wird jeweils die Bereichsverschiebung und ein 
Korrelationsquotient fiir die zwei Bildbereiche (6,7) 
gebildet , ■ 

- es wird eine Schwellwertf unktion in Abhangigkeit des 
jeweiligen Wertes der ermittelten Bereichsverschiebungen 
der zwei Bildbereiche (6,7) bestimmt, 

- es wird jeweils der Korrelationsquotient des einen der 
zwei Bildbereiche (6,7) mit dem Wert verglichen , der 
sich aus der Schwellwertf unktion fiir die 
Bereichsverschiebung des anderen der zwei Bildbereiche 
(6,7) ergibt, 

- die Sicherheit der Bestimmung der Bereichsverschiebung 
fiir jeweils einen der zwei Bildbereiche (6,7) wird als 
hinreichend aufgefaSt, wenn der fiir den einen Bildbereich 
(6,7) bestimmte Korrelationsquotient grofier ist als der 
mit ihm zu vergleichende Wert der Schwellwertf unktion. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet , daS 
die Bestimmung des Korrelationsquotienten jeweils fiir einen 
der Mehrzahl von Bildbereichen (6,7,8) nach einem Verfahren 
mit folgenden Schritten bestimmt wird: 

- mittels eines Block-Matching-Verf ahrens werden fiir 
mehrere mdgliche Bereichsverschiebungen 
Verschiebungskorrelationswerte bestimmt , 

- die Bereichsverschiebung, fiir die die Verschiebungs- 
korrelationswerte maximal werden, wird als 
Bereichsverschiebung des Bildbereichs (6,7,8) angesehen, 

- der Korrelationsquotient wird aus dem Maximum der 
Verschiebungskorrelationswerte, dividiert durch den 
Mittelwert der bestimmten Verschiebungskorrelationswerte, 
gebildet . 
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3. Verfahren nach Anspruch 1, dadurch gekennzeichnet , daS 
fur jeden beliebigen Wert einer Bereichsverschiebung, der 
kleiner als ein vorgegebener erster Schwellwert ist, von der 
Schwellwertfunktion der Wert eines vorgegebenen zweiten 
Schwellwertes angenommen wird und dafi fur jeden beliebigen 
Wert einer Bereichsverschiebung, der grofier als der 
vorgegebene erste Schwellwert ist, von der 
Schwellwertfunktion der Wert des vorgegebenen zweiten 
Schwellwerts abzuglich eines Produkts angenommen wird, wobei 
das Produkt als Faktoren einen vorgegebenen 
Steigungsparameter und eine Differenz umfafit und wobei die 
Differenz aus der beliebigen Bereichsverschiebung und dem 
vorgegebenen ersten Schwellwert gebildet wird. 

4 . Verfahren zur Bestimmung einer Verschiebung von Bildern 
einer Bildsequenz, insbesondere fiir die Kompensation einer 
Kamerabewegung , wobei zur Bestimmung der Verschiebung (15) 
wenigstens ein Bildbereich (6,7,8) von Bildern zur Verfiigung 
steht, wobei der wenigstens eine Bildbereich (6,7,8) jeweils 
an einer vorgegebenen Position der Bilder vorgesehen ist, 
wobei der wenigstens eine Bildbereich (6,7,8) jeweils 
vorgegebene Abmessungen, insbesondere vorgegebene Anzahlen 
von Bildpunkten in verschiedene Richtungen des Bildes, 
aufweist, dadurch gekennzeichnet, dag zur Bildkorrektur 
eines ersten Bildes (14) einer Bildsequenz die Verschiebung 
(15) entweder aus Bilddaten des ersten Bildes (14) und aus 
Bilddaten eines zweiten, vorzugsweise dem ersten Bild 
unmittelbar vorangehenden, Bildes (12) der Bildsequenz oder 
aus Bilddaten des ersten Bildes (14) und aus Bilddaten eines 
zweiten, vorzugsweise dem ersten Bild unmittelbar 
vorangehenden Eingangsbildes (11) der Bildsequenz bestimmt 
wird, wobei als Verschiebung (15) eine Bereichsverschiebung 
des wenigstens einen Bildbereichs (6,7,8) herangezogen wird, 
wobei Blockverschiebungsinformationen, vorzugsweise 
Verschiebungsvektoren, aus einem blockbasierten 
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Codierverfahren fiir den wenigstens einen Bildbereich (6,7,8) 
zur Bestimmung der Bereichsverschiebung verwendet werden, 
wobei fiir die Blockverschiebungsinf ormationen des wenigstens 
einen Bildbereichs (6,7,8) Bildblocke, die • innerhalb des 
wenigstens einen Bildbereichs (6,7,8) liegen, beriicksichtigt 
werden und wobei der wenigstens eine Bildbereich (6,7,8) zur 
Bestimmung der Verschiebung (15) in Abhangigkeit einer 
Sicherheit fiir die Bestimmung der Bereichsverschiebung 
herangezogen wird. 



5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daS 
fur den wenigstens einen Bildbereich (6,7,8) zur Bestimmung 
der Bereichsverschiebung, die eine horizontale und eine 
vertikale Komponente umfaSt, und zur Bestimmung der 
15 Sicherheit der Bestimmung der Bereichsverschiebung ein 

Verfahren mit folgenden Schritten durchgefiihrt wird : 

- es wird zur Bestimmung der horizontalen Komponente der 
Bereichsverschiebung eine erste Hauf igkeitsverteilung der 
Haufigkeiten verschiedener Werte der horizontalen 

20 Komponente der Blockverschiebungsinf ormationen erstellt, 

wobei die horizontale Komponente der Bereichsverschiebung 
dem Wert, fiir den die erste Hauf igkeitsverteilung ihr 
Hauptmaximum annimmt, der horizontalen Komponente der 
Blockverschiebungsinf ormationen entspricht , 

25 ■ es wird zur Bestimmung der vertikalen Komponente der 

Bereichsverschiebung eine zweite Hauf igkeitsverteilung 
der Haufigkeiten verschiedener Werte der vertikalen 
Komponente der Blockverschiebungsinf ormationen erstellt, 
wobei die vertikale Komponente der Bereichsverschiebung 

30 dem Wert, fur den die zweite Hauf igkeitsverteilung ihr 

Hauptmaximum annimmt, der vertikalen Komponente der 
Blockverschiebungsinf ormationen entspricht, 

- die Sicherheit der Bestimmung der Bereichsverschiebung 
wird als hinreichend betrachtet, wenn samtliche der 

35 folgenden Bedingungen erfiillt sind: 
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20 



der Absolutbetrag der Differenz der Position der Werte, 
die dem Hauptmaximum und dem Nebenmaximum der ersten 
Haufigkeitsverteilung entsprechen, der horizontalen 
Komponente der Blockverschiebungsinf ormationen ist 
kleiner als eine vorgegebene erste Dif f erenzschwelle, 
der Absolutbetrag der Differenz der Position der Werte, 
die dem Hauptmaximum und dem Nebenmaximum der zweiten 
Haufigkeitsverteilung entsprechen, der vertikalen 
Komponente der Blockverschiebungsinf ormationen ist 
kleiner als eine vorgegebene zweite Dif f erenzschwelle, 
das Hauptmaximum der ersten Haufigkeitsverteilung ist 
groEer als eine erste Hauf igkeitsschwelle, 
das Hauptmaximum der zweiten Haufigkeitsverteilung ist 
groSer als eine zweite Hauf igkeitsschwelle . 



6. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet , daS eine Trennung einer 
Bildbewegung, vorzugsweise hervorgeruf en durch eine 
Kamerabewegung , von einer Zusatzbewegung, die sich der 
Bildbewegung in einigen Bildbereichen (6,7,8) des zu 
korrigierenden Bildes uberlagert, durch folgende Schritte 
durchgefiihrt wird: 

- an unterschiedlichen Positionen eines Bildes wird die 
Wahrscheinlichkeit, dafi die Bildbewegung ohne die 

25 Zusatzbewegung auftritt, bestimmt, 

- fur jeweils einen Bildbereich werden die Position und die 
Abmessungen in Abhangigkeit der Wahrscheinlichkeit, daS 
innerhalb des einen Bildbereichs (6,7,8) die Bildbewegung 
ohne die Zusatzbewegung auftritt, bestimmt und fest 

30 vorgegeben, 

- es wird wenigstens ein erster Bildbereich (6,7) bevorzugt 
zur Bestimmung der Verschiebung (15) herangezogen. 



35 



7. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, dag die Position und die Abmessungen 
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des wenigstens einen ersten Bildbereichs (6,7) so gewahlt 
werden, daS der wenigstens eine erste Bildbereich (6,7) der 
zu korrigierenden Bilder iiberwiegend vom Bildhintergrund 
ausgefiillt wird. 

8. Verfahren nach einem der Anspriiche 1 bis 6, dadurch 
gekennzeichnet , da£ die Position und die Abmessungen 
wenigstens eines zweiten Bildbereichs (8) so gewahlt werden, 
da£ der wenigstens eine zweite Bildbereich (8) der zu 
korrigierenden Bilder iiberwiegend vom Bildvordergrund 
ausgefiillt wird. 

9. Verfahren nach Anspruch 7 oder 8, dadurch gekennzeichnet, 
daS zur Bestimmung der Verschiebung (15) sowohl der 
wenigstens eine erste (6,7) als auch der wenigstens eine 
zweite Bildbereich (8) zur Verfiigung steht. 

10. Verfahren einem der Anspriiche 7 bis 9, dadurch 
gekennzeichnet, dag zwei erste Bildbereiche (6,7) und ein 
einzelner zweiter Bildbereich (8) zur Bildkorrektur zur 
Verfiigung stehen, wobei die Bestimmung der Verschiebung (15) 
auf eine der folgenden drei Arten mit absteigender Prioritat 
durchgefiihrt wird: 

- aus dem Mittelwert der Bereichsverschiebungen der zwei 
ersten Bildbereiche (6,7), wenn die Sicherheit der 
Bestimmung der Bereichsverschiebungen der beiden ersten 
Bildbereiche (6,7) als hinreichend betrachtet wird, 

- aus der Abschnittsverschiebung desjenigen der zwei ersten 
Bildbereiche (6,7), bei dem die Sicherheit der Bestimmung 
der Bereichsverschiebung als hinreichend betrachtet wird, 

- aus der Bereichsverschiebung des zweiten Bildbereiches 
(8) . 



35 



11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, daS 
das Verfahren fur eine Kopf -Schulter-Auf nahmesituation 
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eingesetzt wird, wobei die beiden ersten Bildbereiche (6,7) 
in einem seitlichen Bereich links und rechts, vorzugsweise 
symmetrisch zur senkrechten Mittelachse eines vorgegebenen 
rechteckigen Bildes, gewahlt werden, wobei der Abstand der 
beiden ersten Bildbereiche (6,7) vom unteren Bildrand grower 
als der Abstand der beiden ersten Bildbereiche (6,7) vom 
oberen Bildrand gewahlt werden, wobei der zweite Bildbereich 
(8) im Bereich der Bildmitte, vorzugsweise symmetrisch zur 
senkrechten Mittelachse des rechteckigen Bildes, gewahlt 
wird, wobei vorzugsweise der Abstand des zweiten 
Bildbereiches (8) vom oberen Bildrand grofcer als der Abstand 
des zweiten Bildbereiches (8) vom unteren Bildrand gewahlt 
wird . 



12. Vorrichtung zur Bestimmung einer Verschiebung (15) nach 
einem Verfahren gemaS einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet , da£ die Vorrichtung eine 
Verschiebungsdetektionsschaltung (100) und eine 
Vergrofierungsschaltung (200) umfaSt, wobei die 
Verschiebungsdetektionsschaltung (100) einen 
Bereichsverschiebungsdetektor (110), einen Bildspeicher 
(120) und einen Mikrocomputer (13 0) umfa£t und wobei die 
Verschiebungsdetektionsschaltung (100) die Verschiebung (15) 
bestimmt. 
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PRIORITATSANSPRUCH 



Anmeldedatum 
der fruheren Anmeldung 
(T ag/Monat/Jahr) 



Ze 



ile(I) 
05. Marz 1999 
(05.03. 99) 



Zeile (2) 



2eile(3) 



ANSPRm 



:ichen der 
Anmeldung 



199 09 622.8 



□ Weitere Priori 



1st die 



nationale Anmeldung: 
Staat 



Bundesrepublik 
Deutschland 




regionale Anmeldung 
regionales Amt 



sspruche sind im Zusatzfeld angege ben 
Anmeldung eine: 



IXl Das Anmeldeamt wird ersucht, eine beglaubigte Abschrift der oben in Zeile(n) QJ_ 



intemationale Anmeldung: 
Anmeldeamt 



" • » — i » i wv-t uuwi ill II f \ I I 

bezeichnete n fruheren Anmeldung(en) zu ersteilen und dem Internationalen Buro zu ubermitteln. 
INTERNATIONALE RECHERCHENBEHORDE 



Feld Nr. VII 



Wahi der Internationalen Recherchenbehorde (ISA) 

(falls n\>ei oder mehr ah z\vei Internationale Recherchenbehdrden 
fiir die Aitsfuhrung der internationalen Recherche zitstandig sind, 
geben Sie die von Jhnen gewahlte Be horde an: (der: 
Zweibuchsta ben-Code kann bemitzt werden) 
ISA/ 



Antrag auf Nutzung der Ergebnisse einer frUheren Recherche: Bezugnahme auf 
diese friihere Recherche (falls eine friihere Recherche bet der internationalen 
Recherchenberdrde beantragt oder von ihr durchgefilhrt worden ist): 
Datum (Tag/Monat/Jahr): Aktenzeichen Staat (oder regionales Amt) 



Feld Nr. VIII KONTROLLISTE; EINREICHUNGSSPRACHE 



Diese intemationale Anmeldung enthalt 
die folgende Anzahl von Slattern: 



Antrag 

Beschreibung (ohne 
Sequenzprotokollteil) 

Anspriiche 

Zusammenfassung: 

Zeichnungen 

Sequenzprotokollteil 
der Beschreibung 



3 Blatter 

22 Blatter 
7 Blatter 
Blatter 
2 Blatter 

Blatter 



Biartzahl insgesamt : 35 Blatter 



Abbildung der Zeichnungen, die 

mit der Zusammenfassung 
veroffentlicht werden soil (Nr.): 3 



Dieser internationalen Anmeldung liegen die nachstehend angekreuzten Unterlagen bei: 
I . ^| Blatt fur die Gebuhrenberechnung 

Gesonderte unterzeichnete Vollmacht 

Kopien der allgerneinen Vollmacht; Aktenzeichen (falls vorhanden) 
Begriindung fur das Fehlen einer Unterschrift 

Prioritatsbeleg(e) ? in Feld VI durch 
folgende Zeilennummer gekennzeichnet: 

Obersetzung der internationalen Anmeldung in die folgende Sprache: 

Gesonderte Angaben zu hinterlegten Mikroorganismen oder biologischem 
Material 

8- (ZD Sequenzprotokolle fur Nucleotide und/oder Anminosauren (Diskette) 

g f\7] Sonstige (einzeln auffiihren): 

Exemplar fur Prioritatsbeleg 



2- □ 

3- □ 

4- □ 

5- □ 

6. □ 

7- □ 



Sprache, in der die 
intemationale Anmeldung 
eingereicht wird: 



Feld Nr. IX UNTERSCHRIFT PES ANMELDERS ODER PES ANWALTS 



Deutsch 



Der Namejeder xmterzeichnenden Person ist neben der Unterschrift zu wiederholen, und es ist anzugeben, sofern sich dies nicht eindeutig aus 
dem Antrag ergibt, in welcher Eigenschaft die Person unterzeichnet 

ROBERT BOSCH GMBH 
Nr. 227/B^AV 



Andreas ENGELSBERG r ^ ^ 



Dr. Friedmann 



1. Datum des tatsachlichen Eingangs dieser 
internationalen Anmeldung 



Vom Anmeldeamt auszufiillen 



3. Geandertes Eingangsdatum aufgrund nachtraglich, jedoch 
fristgerecht eingegangener Unterlagen oder Zeichnungen 
zur Vervollstandigung dieser internationalen Anmeldung: 

4. Datum des fristgerechten Eingangs der angeforderten 
Richtigstellung nach Artikel 11(2) PCT: 



5. Vom Anmelder benannte 

Internationale Recherchenbehorde: 



ISA/ 



2. Zeichnungen 

| | einge-gangen: 



□ 



nicht ein- 
geganeen: 



6- Ubermittlung des Recherchenexemplars bis zur Zahlung 

| | der Recherchengebuhr aufgeschoben 



Datum des Eingangs des Aktenexemplars 
beim Internationalen Bilro: 



Vom Internationalen Buro auszufiillen 



Formblatt PCT/RO/101 (letztes Blatt) 



Siehe Anmerkimgen zu diesem Antragsformular 



09/914977 

Q 518 ne06riPfo 0 5 SEP 2001 

INTERNATIONAL PRELIMINARY EXAMINATION REPORT 
International Application No: PCT/DE00/00137 



I . Basis of the report 

1. This report has been drawn on the basis of (Substitute 
sheets which have been furnished to the receiving Office in 
response to an invitation under Article 14 are referred to in 
this report as "originally filed" and are not annexed to the 
report since they do not contain amendments ) : 

the description, pages 

1-21 as originally filed 

the claims, Nos . 

1-12 as originally filed 

the drawings, sheets/fig. 

1/2-2/2 as originally filed 
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INTERNATIONAL PRELIMINARY EXAMINATION REPORT 
International Application No: PCT/DEOO/00137 



V. Reasoned statement under Article 35(2) with regard to 
novelty, inventive step or industrial applicability; citations 
and explanations supporting such statement 

1 . STATEMENT 



Novelty (N) Claims 1-12 YES 

Claims NO 

Inventive Step (IS) Claims 1-3,5-11 YES 

Claims 4,12 NO 

Industrial Applicability (IA) Claims 1-12 YES 

Claims NO 



2 . CITATIONS AND EXPLANATIONS 
See supplementary page. 

VII. Specific shortcomings of the international application 

It has been determined that the following shortcomings exist 
in the form or content of the international application. 

See supplementary page. 
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INTERNATIONAL PRELIMINARY EXAMINATION REPORT 
SUPPLEMENTARY PAGE 

International Application No: PCT/DE00/0013 7 



Item V: 

Reasoned statement under Article 35(2) with regard to novelty, 
inventive step or industrial applicability; citations and 
explanations supporting such statement 



1. The following documents are cited: 

(Dl) European Patent Application 0535746 

(D2) European Patent Application 0762774 

(D3) U.S. Patent Application 4,924,310 

(D4) European Patent Application 0449283 

(D5) European Patent Application 0631432 



Document D2 is regarded as the most proximate art in 
relation to the subject matter of Claim 1. It describes 
(the references in parentheses point to this document) : 

a method for determining a shift (motion vector) of 
images in an image sequence, in particular to compensate 
for a camera movement (see Abstract) , having the main 
features of the present Claim 1, where the following 
assignments can be made: 

Application: D2 : 

Image zones : Macroblocks 

Zone shift motion vector/shake vector 

First/second image (see Figures 8/10) 

Correlation quotient See, e.g., column 15, lines 22- 

38 

Threshold value function threshold values TH1 , TH2 , see 

column 18, lines 12-34 

The essential features of the present Claim 1 therefore 
concern a movement compensation system, as described in 
D2 or known from D5 . D5 also defines certain image zones 
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for detecting movement (see Figure 6) and computes 
correlation coefficients (see Figure 8) that are compared 
to threshold values . 

The differences between Claim 1 and D2 include the fact 
that a threshold value function is determined as a 
function of the value of the determined zone shifts of 
the two image zones. According to D2 , the threshold value 
functions are clearly not determined or influenced by the 
zone shifts. 

In addition, it is not clear from D5 whether the 
threshold value function is determined as a function of 
zone shifts. 

Claim 1 is thus novel. Because neither D2 nor any other 
cited document provides a modification of the known 
method according to Claim 1, the object of the claim is 
not obvious, either. 

3. In independent Claim 4, block shift information from a 
block based coding method is evaluated. This is also the 
case in D2 , since the block shift information (block 
motion vector) of a compression method is evaluated here 
in order to compensate for camera movement (see, e.g., 
column 3, line 51 to column 4, line 12) . 

The claim also defines the situation in which "the at 
least one image zone is used to determine the shift as a 
function of a reliability for the zone shift determination. 11 
The object of this claim is therefore also novel compared 
to D2 . However, the way in which this "reliability" is 
determined, and the way in which a dependency of the 
shift determination exists, are unclear. Thus, the 
limiting effect of this feature is uncertain at the very 
least. As a result, no special inventive step can be 
assigned to this feature. The object of the claim is 
therefore viewed as obvious. 

4. Independent Claim 12 describes a shift detecting circuit, 
an image storage device and a microcomputer, which are 
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also mentioned in D5 (see e.g., Figure 1), as well as an 
enlarging circuit. However, enlarging arrangements of 
this type are known from the related art, or can be 
implemented with existing microcomputer systems. Because 
no particular combining effect is achieved in relation to 
the shift detecting system, this feature is obvious and 
therefore renders the entire Claim 12 obvious as well. 

5. Dependent Claims 5-11 appear to concern details that are 
already known, as such, from D2 or D5 or from documents 
Dl , D3 and D4 . However, a combination of these features 
with the features of the independent claims is not 
explicitly suggested in D1-D5. 

6. In addressing the question as to whether the object of 
the present Claims 1-12 is industrially applicable, there 
are no standard criteria in the PCT treaty states. 
However, in view of the present field of technology, 
there seems to be no doubt as to industrial 
applicability. 



Item VII :. 

Specific shortcomings of the international application 

Contrary to the requirements of Rule 5.1 a)ii) PCT, neither 
the appropriate related art described in documents D2 and D5 
nor these documents themselves are mentioned in the 
description . 
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ES^I 



VERTRAG U|R DIE INTERNATIONALE ZUS 
aWOEM GEBIET DES PATENTWEj 

PCT 

INTERN ATIONALER RECHERCHENBERICHT 

(Artikel 18 sowie Regeln 43 und 44 PCT) 



NARBEIT 



Aktenzeichen des Anmelders oder Anwalts 

R. 35518 Sb/Kat 


WEITERES siehe Mrtteilung uber die Ubermrttlung des internationaten 

Recherchenberichts (Formblatt PCT/ISA/220) sowie, soweit 
VORGEHEN zutreffend, nachstehender Punkt 5 


Internationales Aktenzeichen 
PCT/DE 00/00137 


Internationales Anmeldedatum 
(Tag/Monat/Jahr) 

15/01/2000 


(Fruhestes) Prioritatsdatum (Tag/Monat/Jahr) 

05/03/1999 


Anmelder 

ROBERT BOSCH GMBH et al . 





Dieser Internationale Recherchenbericht wurde von der Internationalen Recherchenbehdrde erstellt und wird dem Anmelder gemaG 
Artikel 18 ubermittelt. Eine Kopie wird dem Internationalen Buro ubermittelt. 

Dieser internationale Recherchenbericht umfaBt insgesamt _3 Blatter. 

[X] Daruber hinaus liegt ihm jeweils eine Kopie der in diesem Bericht genannten Unterlagen zum Stand der Technik bei. 



1 . Grundlage des Berlchts 

a. 



Hinsichtlich der Sprache ist die internationale Recherche auf der Grundlage der internationalen Anmeldung in der Sprache 
durchgefuhrt worden, in der sie eingereicht wurde, sofern unter diesem Punkt nichts anderes angegeben ist. 



□ 



b. 



□ 
□ 
□ 
□ 



2. 
3. 

4. 



Die internationale Recherche ist auf der Grundlage einer bei der Behorde eingereichten Obersetzung der internationalen 
Anmeldung (Regel 23.1 b)) durchgefuhrt worden. 

Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleotld- und/oder Amlnosauresequenz ist die internationale 
Recherche auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das 
| | in der internationalen Anmeldung in Schnflicher Form enthalten ist. 

zusammen mit der internationalen Anmeldung in compute rlesbarer Form eingereicht worden ist. 
bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 
bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

Die Erklarung, daG das nachtraglich eingereichte schrtftliche Sequenzprotokoll nicht uber den Offenbarungsgehalt der 
internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

| | Die Erklarung, daft die in computerlesbarer Form erfafMen Informationen dem schriftlichen Sequenzprotokoll entsprechen, 
wurde vorgelegt. 

| | Bestlmmte Anspruche ha ben slch als nlcht recherchlerbar erwiesen (siehe Feld I). 
| | Mangelnde Elnheltllchkeit der Erflndung (siehe Feld II). 



Hinsichtlich der Bezelchnung der Erflndung 

|"X"| wird der vom Anmelder eingereichte Wortlaut genehmigt. 
| [ wurde der Wortlaut von der Behorde wie folgt festgesetzt: 



5. Hinsichtlich der Zusammenfassung 

fyl wird der vom Anmelder eingereichte Wortlaut genehmigt. 

wurde der Wortlaut nach Regel 38.2b) in der in Feld III angegebenen Fassung von der Behorde festgesetzt. Der 
| | Anmelder kann der Behorde innerhalb eines Monats nach dem Datum der Absendung dieses internationalen 

Recherchenberichts eine Stellungnahme vorlegen. 

6. Folgende Abbildung der Zelchnungen ist mit der Zusammenfassung zu veroffentlichen: Abb. Nr. 3 



|"X"| wie vom Anmelder vorgeschlagen [^] keine der Abb. 

[ | weil der Anmelder selbst keine Abbildung vorgeschlagen hat. 
| | weil diese Abbildung die Erfindung besser kennzeichnet. 



Formblatt PCT/ISA/210 (Blatt 1) (Juli 1998) 



INTERNATIONALER RECHERCHENBERICHT 



Int^^^^nales Aktenzelchen 

pBBe 00/00137 



A. KLASSIFIZIERUNG DES ANMELDUNGSGEGENSTANDES 

IPK 7 H04N5/232 H04N5/14 



Nach der International en Patentklassifikation (IPK) Oder nach der nationalen Klassifikation und der IPK 



B. RECHERCHIERTE GEBIETE 



Recherchierter Mindestprufstoff (Klassifikationssystem und Wassifikationssymbole ) 

IPK 7 H04N 



Recherchierte aber nicht zum Mindestprufstoff gehdrende Veroffentlichungen, soweit diese unter die recherchierten Gebiete fallen 



Wahrend der intemationalen Recherche konsultierte elektronische Oatenbank (Name der Datenbank und evtl. verwendete Suchbegriffe) 



C. ALS WESENTLICH ANGESEHENE UNTER LAG EN 



Kategorie 0 



Bezeichnung der Veroffentlichung, soweit erforderlich unter Angabe der in Betracht kommenden Teile 



Betr. Anspruch Nr. 



EP 0 535 746 A (PHILIPS ELECTRONICS UK LTD 

;PHILIPS NV (NL)) 

7. April 1993 (1993-04-07) 

Spalte 2, Zeile 50 -Spalte 5, Zeile 36 

EP 0 762 774 A (SONY CORP) 
12. Marz 1997 (1997-03-12) 
Zusammenf assung 

Spalte 2, Zeile 57 -Spalte 4, Zeile 25 



US 4 924 310 A (VON BRANDT ACHIM) 
8. Mai 1990 (1990-05-08) 
Spalte 2, Zeile 42 -Spalte 6, Zeile 
Abbildungen 2,6,7 

EP 0 449 283 A (SANYO ELECTRIC CO) 
2. Oktober 1991 (1991-10-02) 
das ganze Dokument 

-/-- 



6; 



1-4 



5-12 



1,4,12 



1-12 



1-12 



Wei t ere Veroffentlichungen sind der Fortsetzung von Feld C zu 
entnehmen 



ID 



Siehe Anhang Patentfamilie 



° Besondere Kategorien von angegebenen Veroffentlichungen 

"A" Veroffentlichung, die den allgemeinen Stand der Technik definiert, 
aber nicht als besonders bedeutsam anzusehen ist 

"E" alteres Dokument, das jedoch erst am oder nach dem intemationalen 
Anmeldedatum veroffentlicht worden ist 

"L" Veroffentlichung, die geeignet ist, einen Prioritatsanspruch zweifelhaft er- 
scheinen zu lassen, oder durch die das Veroffentiichungsdatum einer 
anderen im Recherchenbericht genannten Veroffentlichung beiegt werden 
soil oder die aus einem anderen besonderen Grund angegeben ist (wie 
ausgefuhrt) 

"O" Veroffentlichung, die sich auf eine mundliche Offenbarung, 

eine Benutzung, eine Ausstellung oder andere MaBnahmen bezieht 
"P" Veroffentlichung, die vor dem intemationalen Anmeldedatum, aber nach 
dem beanspruchten Priori tats datum veroffentlicht worden ist 



T" Spatere Veroffentlichung, die nach dem intemationalen Anmeldedatum 
oder dem Prioritatsdatum veroffentlicht worden ist und mit der 
Anmeldung nicht kollidiert, sondem nur zum Verstandnis des der 
Erfindung zugrundeliegenden Prinzips oder der ihr zugrundeiiegenden 
Theorie angegeben ist 

"X" Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann allein auf grund dieser Veroffentlichung nicht als neu oder auf 
erfinderischer Tatigkeit beruhend betrachtet werden 

"Y" Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann nicht als auf erfinderischer Tatigkeit beruhend betrachtet 
werden, wenn die Veroffentlichung mit einer odermehreren anderen 
Veroffentlichungen dieser Kategorie in Verbindung gebracht wird und 
diese Verbindung fur einen Facnmann naheliegend ist 

"&" Veroffentlichung, die Mitglied derselben Patentfamilie ist 



Datum des Abschlusses der intemationalen Recherche 

14. Juni 2000 


Absendedatum des intemationalen Recherchenberichts 

23/06/2000 


Name und Postanschrift der intemationalen Recherchenbehorde 
Europaisches Patentamt, P.B. 5818 Patenttaan 2 
NL - 2280 HV Rijswijk 
Tel. (+31-70) 340-2040, Tx. 31 651 epo ni. 
Fax: (+31-70)340-3016 


Bevollmachtigter Bediensteter 

Brandenburg, J 
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INTERNATIONALER RECHERCHENBERICHT 



J^E 



ales Aktenzelchen 

E 00/00137 



C.(Fortsetzung) ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategorie 0 Bezeichnung der Veroffentlichung, soweit erforderfich unter Angabe der in Betracht kommenden Teile 



Betr. Anspruch Nr. 



EP 0 631 432 A (SANYO ELECTRIC CO) 
28. Dezember 1994 (1994-12-28) 
Spalte 2, Zeile 1 -Spalte 4, Zeile 34 
Spalte 6, Zeile 10 -Spalte 8, Zeile 16; 
Abbi ldungen 6-10 



1-4,12 
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INTERNATIONAL SEARCH REPORT 



A CLASSIFICATION OF SUBJECT MATTER 

IPC 7 H04N5/232 H04N5/14 



Jonal Application No 

PCT/DE 00/00137 



According to Inte rnational Patent Classification (IPC) or to both national classification and IPC 
B. FIELDS SEARCHED ~ " " " 



Minimum documentation 

IPC 7 H04N 



searched (classification system followed by classification symbols)" 



Documentation searched other than minimum documentation to the extent that such documents 



are included in the fields searched 



Electronic data base consulted during the international search (name of data base and, where 



practical, search terms used) 



C. DOCUMENTS CONSIDERED TO BE RELEVANT 



Category ° 



Citation of document, with indication, where appropriate, of the relevant passages 



"hRIPS NM N V>r LIPS ELKTR0NICS UK L ™ 

7 April 1993 (1993-04-07) 

column 2, line 50 -column 5, line 36 

EP 0 762 774 A (SONY CORP) 
12 March 1997 (1997-03-12) 
abstract 

column 2, line 57 -column 4, line 25 

US 4 924 310 A (VON BRANDT ACHIM) 

8 May 1990 (1990-05-08) 

column 2, line 42 -column 6, line 6- 
figures 2,6,7 

EP 0 449 283 A (SANYO ELECTRIC CO) 
2 October 1991 (1991-10-02) 
the whole document 



Relevant to claim No. 



V— 



{^ X[ Furtner documents are listed in the continuation of box C. 
* Special categories of cited documents : 



1-4 

5-12 
1,4,12 

1-12 

1-12 



|X I Patent family members are listed in annex. 



1 document defining the general state of the art which is not 
considered to be of particular relevance 

earlier document but published on or after the international 
tiling date 

document which may throw doubts on priority claim(s) or 
which ts cited to establish the publication date of another 
citation or other special reason (as specified) 

"O* document referring to an oral disclosure, use, exhibition or 
other means 

*P" document published prior to the international filing date but 
later than the priority date daimed 



Date of the actual completion of the international search 

14 June 2000 



T later document published after the international filing date 
or priority date and not in conflict with the application but 
cited to understand the principle or theory underlying the 
in vQn no n 

"X" document of particular relevance; the claimed invention 
cannot be considered novel or cannot be considered to 
involve an inventive step when the document is taken alone 

"Y" document of particular relevance; the claimed invention 

cannot be considered to involve an inventive step when the 
document is combined with one or more other such docu- 
ments, such combination being obvious to a person skilled 
in the art. 

document member of the same patent family 



Date of mailing of the international search report 

23/06/2000 



Name and mailing address of the ISA 

European Patent Office, P.B. 5818 Patenttaan 2 
NL - 22B0 HV Rijswijk 
Tel. (+31-70) 340-2040, Tx. 31 651 epo nl, 
Fax: (+31-70) 340-3016 



Authorized officer 



Brandenburg, J 



Fonm PCT/IS A/210 (second sheet) (July 1992) 
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INTERN 



NAL SEARCH REPORT 

»n on patent family members 



Patent document 
cited in search report 



Publication 
date 



PSional Application No 

PCT/DE 00/00137 



Patent family 
member(s) 



Publication 
date 



EP 


0535746 


A 


07 


-04- 


-1993 


AT 


148607 T 


15-02-1997 














CA 


2079434 A 


31-03-1993 














DE 


69217150 D 


13-03-1997 














DE 


69217150 T 


17-07-1997 














JP 


5219499 A 


27-08-1993 














US 


5428403 A 


27-06-1995 


CP 

tr 




A 


12- 


-03- 


-1997 


JP 


9130748 A 


16-05-1997 














US 


5926212 A 


20-07— 1QOO 














US 


5835138 A 


10-11-1998 


US 


4924310 


A 


08- 


■05- 


1990 


AT 


74219 T 


15-04-1 QQ? 














DE 


3869475 A 


30-04— 1QQ? 














EP 


0293644 A 


07-1 0— 1QOQ 














JP 


1092885 A 


12-04-1989 


EP 


0449283 


A 


02- 


10- 


1991 


JP 


2562715 B 


11—1 1 QOA 














JP 


4000874 A 


Ofi— 01— 1 QQ9 














JP 


2517451 B 


9 A— 07— 1 QOA 














JP 


4054776 A 


?1 —09—1 QQO 














DE 


69128163 D 


1 ft— 1 9—1 QQ7 














DE 


69128163 T 


1 ft— Ofi— 1 OQQ 














US 


5184216 A 


02-02-1993 


EP 


0631432 


A 


28- 


12- 


1994 


JP 


2940762 B 


25-08-1999 














JP 


7038800 A 


07-02-1995 














JP 


2944369 B 


06-09-1999 














JP 


7046456 A 


14-02-1995 














JP 


7115583 A 


02-05-1995 














US 


5563652 A 


08-10-1996 














US 


5648815 A 


15-07-1997 



Foim PCT7ISA/21 0 (patent famUy annex) (July 1 992) 



INTERNATIONAL SEARCH REPORT 

Info^^B? on patent family members 



al Application No 

E 00/00137 



Patent document 
cited in search report 


Publication 
date 


Patent family 
members) 


Publication 
date 


EP 0535746 A 


07-04-1993 


AT 


148607 


T 


15-02-1997 






CA 


2079434 


A 


31-03-1993 






DE 


69217150 


D 


13-03-1997 






DE 


69217150 


T 


17-07-1997 






JP 


5219499 


A 


27-08-1993 






US 


5428403 


A 


27-06-1995 



EP 


0762774 


A 


12-03-1997 


JP 


9130748 


A 


16-05-1997 










US 


5926212 


A 


20-07-1999 










US 


5835138 


A 


10-11-1998 


US 


4924310 


A 


08-05-1990 


AT 


74219 


T 


15-04-1992 










DE 


3869475 


A 


30-04-1992 










EP 


0293644 


A 


07-12-1988 










JP 


1092885 


A 


12-04-1989 
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I. Grundlage des Berichts 

1 . Dieser Bericht wurde erstellt auf der Grundlage {Ersatzblatter, die dem Anme/deamt auf eine Aufforderung nach 
Artikei 14 hin vorge/egt warden, gelten im Rahmen dieses Berichts als "ursprunglich eingereicht" und sind ihm 
nicht beigefugt, weil sie keine Anderungen enthalten.): 
Beschreibung, Seiten: 

1-21 ursprungliche Fassung 



Patentanspruche, Nr.: 

1-12 ursprungliche Fassung 



Zeichnungen, Blatter: 

1/2-2/2 ursprungliche Fassung 



2. Hinsichtlich der Sprache: Alle vorstehend genannten Bestandteile standen der Behorde in der Sprache, in der 
die internationale Anmeldung eingereicht worden ist, zur Verfugung oder wurden in dieser eingereicht, sofern 
unter diesem Punkt nichts anderes angegeben ist. 

Die Bestandteile standen der Behorde in der Sprache: zur Verfugung bzw. wurden in dieser Sprache 
eingereicht; dabei handelt es sich um 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen Recherche eingereicht worden ist (nach 
Regel 23.1(b)). 

□ die Veroffentlichungssprache der internationalen Anmeldung (nach Regel 48.3(b)). 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen vorlaufigen Prufung eingereicht worden 
ist (nach Regel 55.2 und/oder 55.3). 

3. Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleotid- und/oder Aminosauresequenz ist die 
internationale vorlaufige Prufung auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das: 

□ in der internationalen Anmeldung in schriftlicher Form enthalten ist. 

□ zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

□ Die Erklarung, daB das nachtraglich eingereichte schriftliche Sequenzprotokoll nicht uber den 
Offenbarungsgehalt der internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

□ Die Erklarung, daB die in computerlesbarer Form erfassten Informationen dem schriftlichen 
Sequenzprotokoll entsprechen, wurde vorgelegt. 

4. Aufgrund der Anderungen sind folgende Unterlagen fortgefallen: 
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□ Beschreibung, Seiten: 

□ Anspruche, Nr.: 

□ Zeichnungen, Blatt: 

5. □ Dieser Bericht ist ohne Berucksichtigung (von einigen) der Anderungen erstellt worden, da diese aus den 
angegebenen Grunden nach Auffassung der Behorde uberden Offenbarungsgehalt in der urspriinglich 
eingereichten Fassung hinausgehen (Regel 70.2(c)). 

(Auf Ersatzblatter, die solche Anderungen entha/ten, ist unter Punkt 1 hinzuweisen;sie sind diesem Bericht 
beizufugen). 



6. Etwaige zusatzliche Bemerkungen: 



V. Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

1. Feststellung 

Neuheit (N) Ja: Anspruche 

Nein: Anspruche 

Erfinderische Tatigkeit (ET) Ja: Anspruche 

Nein: Anspruche 

Gewerbliche Anwendbarkeit (GA) Ja: Anspruche 

Nein: Anspruche 



2. Unterlagen und Erklarungen 
siehe Beiblatt 



VII. Bestimmte Mangel der internationalen Anmeldung 

Es wurde festgestellt, daB die internationale Anmeldung nach Form oder Inhalt folgende Mangel aufweist: 
siehe Beiblatt 



1-12 

1-3,5-11 
4,12 

1-12 
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Zu Punkt V 

Begrundete Feststellung nach Regel 66.2(a)(ii) hinsichtlich der Neuheit, der 
erfinderischen Tatigkeit und der gewerblichen Anwendbarkeit; Unterlagen und 
Erklarungen zur Stutzung dieser Feststellung 



1 . Es wird auf die folgenden Dokumente verwiesen: 



D1: EP-A-0535746 

D2: EP-A-0762774 

D3: US-A-4924310 

D4: EP-A-0449283 

D5: EP-A-0631432 



2. Das Dokument D2 wird als nachstliegender Stand der Technik gegenuber dem 
Gegenstand des Anspruchs 1 angesehen. Es offenbart (die Verweise in 
Klammern beziehen sich auf dieses Dokument): 



ein Verfahren zur Bestimmung einer Verschiebung (motion vector) von Bildern 
einer Bildsequenz, insbesondere fur die Kompensation einer Kamerabewegung 
(siehe Zusammenfassung), mit wesentlichen Merkmalen des vorliegenden 
Anspruchs 1 , wobei die folgende Zuordnung vorgenommen werden kann: 



Anmeldung: 

Bildbereiche 

Bereichsverschiebung 

erstes/zweites Bild 

Korrelationsquotient 

Schwellwertfunktion 

Zeilen 12-34 



D2: 

macroblocks 

motion vector/shake vector 

(siehe Figuren 8/10) 

siehe z.B. Spalte 15, Zeilen 22-38 

threshold values TH1 , TH2, siehe Spalte 18, 



DemgemaB betreffen die wesentlichen Merkmale des vorliegenden Anspruchs 1 
eine Bewegungskompensationstechnik wie sie in D2 beschrieben ist, oder auch 
aus D5 bekannt ist. In D5 werden uberdies auch noch bestimmte Bildbereiche zur 
Bewegungserkennung festgelegt, siehe Figur 6, und Korrelationskoeffizienten 
ermittelt, siehe Figur 8, welche mit Schwellwerten verglichen werden. 
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Anspruch 1 unterscheidet sich von D2 unter anderem darin, daB eine 
Schwellwertfunktion in Abhangigkeit des jeweiligen Wertes der ermittelten 
Bereichsverschiebungen der zwei Bildbereiche bestimmt wird. 
GemaB D2 werden die Schwellwertfunktionen offenbar nicht durch die 
Bereichsverschiebungen ermittelt oder beeinfluBt. 

Ebenso ist aus D5 nicht deutlich, ob die Schwellwertfunktionen in Abhangigkeit 
von Bereichsverschiebungen ermittelt werden. 

Daher ist Anspruch 1 neu. Da auch keine Anregung aus D2 oder einem anderen 
zitierten Dokument zu entnehmen ist, das bekannte Verfahren im Sinne des 
Anspruchs 1 abzuandern, ist der Gegenstand des Anspruchs auch nicht 
naheliegend. 

3. Im unabhangigen Anspruch 4 wird Blockverschiebungsinformation aus einem 
blockbasierten Codierverfahren ausgewertet. Dies ist gemaB D2 auch der Fall, da 
dort ebenfalls die Blockverschiebungsinformation (block motion vector) eines 
Kompressionsverfahrens zur Kamerabewegungskompensation ausgewertet wird, 
siehe z.B. Spalte 3, Zeile 51- Spalte 4, Zeile 12. 

Es wird zusatzlich im Anspruch definiert, daB "der wenigstens eine Bildbereich zur 
Bestimmung der Verschiebung in Abhangigkeit einer Sicherheit fur die 
Bestimmung der Bereichsverschiebung herangezogen wird". 
Daher ist der Anspruchsgegenstand als neu gegenuber D2 anzusehen. Allerdings 
ist nicht deutlich, in welcher Weise diese "Sicherheit" bestimmt wird und in 
welcher Weise eine Abhangigkeit der Bestimmung der Verschiebung besteht. 
Daher ist die einschrankende Wirkung dieses Merkmals zumindest ungewiB. 
Daher kann diesem Merkmal auch kein besonderer erfinderischer Effekt 
zugewiesen werden. Der Anspruchsgegenstand wird daher als naheliegend 
angesehen. 

4. Im unabhangigen Anspruch 12 wird eine Verschiebungsdetektionsschaltung, ein 
Bildspeicher und ein Mikrocomputer, welche auch in D5 (siehe z.B. Figur 1) 
vorhanden sind, und eine Vergrosserungsschaltung beansprucht. Derartige 
Vergrosserungsschaltungen sind als solche jedoch aus dem Stand der Technik 
bekannt, oder konnen mittels der vorhandenen Mikrocomputereinrichtung 
implementiert werden. Da keine besondere kombinatorische Wirkung in 
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Zusammenhang mit der Verschiebungsdetektionseinrichtung erzielt wird, ist 
dieses Merkmal naheliegend und daher auch der gesamte Anspruch 12. 

5. Die abhangigen Anspruche 5-1 1 scheinen sich auf Details zu beziehen, die als 
solche aus D2 oder D5 Oder aus den Dokumenten D1 , D3, D4 bereits bekannt 
sind. Allerdings ist eine Kombination dieser Merkmale mit den Merkmalen der 
jeweiligen unabhangigen Anspruche nicht explizit in D1-D5 angeregt. 

6. Fur die Beurteilung der Frage, ob die Gegenstande der vorliegenden Anspruche 
1-12 gewerblich anwendbar sind, gibt es in den PCT-Vertragsstaaten keine 
einheitlichen Kriterien. Aufgrund des vorliegenden technischen Gebiets scheint 
die gewerbliche Anwendbarkeit aber auBer Zweifel zu stehen. 

Zu Punkt VII 

Bestimmte Mangel der internationalen Anmeldung 

Im Widerspruch zu den Erfordernissen der Regel 5.1 a) ii) PCT werden in der 
Beschreibung weder der in den Dokumenten D2, D5 offenbarte einschlagige 
Stand der Technik noch diese Dokumente angegeben. 
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